A Zeroth-Order Paradigm for LLM Preference Alignment
基于比较预言机的 LLM 偏好对齐零阶优化范式
🧭 LLM 偏好对齐 · Zeroth-order 优化 ★ 深度解读
UC Berkeley · New York University · Alibaba DAMO Academy · Columbia University
提出 ComPO，用比较预言机从低 margin/noisy 偏好对中提取方向信号，缓解 likelihood displacement
📌 工作参考价值（4 点）
- 在 LLM 排序、Agent 策略或生成式推荐的 preference tuning 中，不要直接丢弃低 margin 偏好对：按参考策略 logπ 差异切分 clean/noisy，对 noisy 对改用比较信号更新，能保留数据并减少 likelihood displacement。
- 工程上可采用冻结主干、只对 lm_head 输出层做稀疏扰动更新；阈值为保留约 1%-6% 的非零条目，显存可压到 16-30GB 级（A40），适合在已有线上 checkpoint 上做轻量任务适配。
- 在线正则化可参考：用当前 policy 对无标注 prompt 采样，计算 length-normalized log ratio 作为 reverse-KL 代理，soft damping 调步长；配合 successful-batch replay buffer 可进一步稳定 LC win rate。
- 训练诊断不要只看 benchmark：观察 comparison oracle 负输出计数分布、pairwise log-likelihood 变化方向，可作为 likelihood displacement 的早期 sanity check。